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(54) Title: AUGMENTED REALITY SYSTEM HAVING VOICE-BASED RECORDING OF INFORMATION DATA. IN PARTICU- 
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(54) Bezeichnung: AUGMENTED-REALITY-SYSTEM MIT SPRACHBASIERTER ERFASSUNG VON INFORMATIONSDATEN, 
INSBESONDERE VON SERVICEBERICHTEN 

(57) Abstract 

The invention relates 
to an augmented reality 
system and method for 
transmitting information data, 
in particular, information 
data of a process controlled 
using automation technology, 
concerning a production 
facility and/or a machine, 
from a user, e.g. a service 
man, to a storage medium of 
the augment reality system. 
According to the invention, 
the augmented reality system 
comprises recording means 
for recording voice input of 
the user, in particular, voice 
input from service logs, via 
a voice-based input. As a 
result, service logs can be 
easily and quickly prepared, 

centrally stored and archived so that pertinent information is made reliably available for use in future similar situations. 




(57) Zusammenfassung 

Die Erfindung betrifft ein Augmented-Reality-System und -Verfahren zur Ubertragung von Informationsdaten von einem Anwender, 
insbesondere eines automatisierungstechnisch gesteuerten Processes, einer Produktionsanlagc und/oder einer Maschine, beispielsweise yon 
einem Serviceman n an ein Speichermedium des Augmented-Reality-Systems, wobei das Augmented-Reality-System Erfassungsmittel 
zur Erfassung von Spracheingaben des Anwenders, insbesondere von Serviceprotokollen, durch eine sprachbasierte Eingabe aufweisen. 
Hierdurch k6nnen Serviceprotokolle auf einfache Weise schnell erstellt, zentral gespeichert und archiviert werden, so daB auch bei spatercn 
ahnlichen Einsatzfallen die entsprechende Information zuverlassig zur Verfugung stent. 
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.. Beschreibung 

Augmented-Reality-System mit sprachbasierter Erfassung von 
Informationsdaten, insbesondere von Serviceberichten 

5 

Die Erfindung betrifft ein Augmented-Reality-System zur Uber- 
tragung von Informationsdaten von einem Anwender beispiels- 
weise von einem Servicemann an ein Speichermedium des Augmen- 
ted-Reality-Systems . 

10 

Ein derartiges System und Verf ahren. kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
Werkzeugmaschinen , bei Diagnose- /Serviceunters tut zungssyste- 
men sowie fur komplexe Komponenten, Gerate und Systeme, wie 
15 beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 
gen zum Einsatz. 

Der Erfindung liegt die Aufgabe zugrunde, ein System und ein 
Verf ahren anzugeben, das eine einfache und zuverlassige Er- 
2 0 fassung und Speicherung von Informationsdaten, insbesondere 
von Serviceberichten ermoglicht. 

Diese Aufgabe wird durch ein Augmented-Reality-System zur 
Ubertragung von Informationsdaten von einem Anwender insbe- 

2 5 sondere eines automatisierungstechnisch gesteuerten Prozes- 
ses, einer Produktionsanlage und/oder einer Maschine, bei- 
spielsweise von einem Servicemann an ein Speichermedium des 
Augmented-Reality-Systems geldst, wobei das Augmented- 
Reality-System Erf assungsmittel zur Erfassung von Sprachein- 

30 gaben des Anwenders, insbesondere von Serviceprotokollen, 
durch eine sprachbasierte Eingabe aufweisen. 

Diese Aufgabe wird durch ein Verfahren zur Ubertragung von 
Informationsdaten mittels eines Augmented-Reality-Systems von 
35 einem Anwender insbesondere eines automatisierungstechnisch 

gesteuerten Prozesses, einer Produktionsanlage und/oder einer 
Maschine, beispielsweise von einem Servicemann an ein Spei- 
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chermediuxn des Augmented-Reali ty-Sys terns gelost, wobei das 
Augmented-Reality-System Erf assungsmi ttel zur Erfassung von 
Spracheingaben des Anwenders , insbesondere von Serviceproto- 
kollen, durch eine sprachbasierte Eingabe aufweisen. 

5 

Der Erfindung liegt die Erkenntnis zugrunde, da£ einfach aus- 
gebildetes Servicepersonal oft nur bedingt in der Lage ist, 
einen Serviceeinsat z schriftlich zu dokument ieren . Dies hat 
zur Folge, dafi fur kunftige Einsatzfalle keine zuverlassige 

10 Information zur Verfugung steht. Durch die sprachbasierte Er- 
fassung der Serviceberichte ggf . auch in Verbindung mit In- 
formationsdaten, d.h. Dokumentationsdaten und/oder Prozessda- 
ten einer automatisierungstechnisch gesteuerten Anlage ergibt 
sich eine einfache und zuverlassige Erfassung und Speicherung 

15 der Informationsdaten, insbesondere der Serviceberichte. Die 
Speicherung und Zuordnung der Serviceberichte kann dabei 
sprachgesteuert oder durch die sonstigen Erf assungsmi ttel wie 
Bilderf assungsmi ttel gesteuert, d.h. kontextabhangig einer 
durch die jeweils von den Erf assungsmitteln ermittelten aktu- 

2 0 ellen Arbeitssituation erfolgen. Bei der Erfassung der Ein- 
satzberichte konnen neben der reinen sprachbasierten Erfas- 
sung auch weitere Daten, wie Prozesswerte, Signalwerte, Vide- 
obilder miterfaSt werden. Das Augmented-Reali ty-System kann- 
dem Servicetechniker vor Ort ,~ der vor eine bestimmte Aufgabe 

25 gestellt ist, abhangig von der Problemstellung geeignete frti- 
here gespeicherte Serviceprotokolle in Form von Audio- 
und/oder Bilddaten zuganglich machen, so daS der Servicetech- 
niker auf einfache Weise von bereits fruher auch von Kollegen 
erfaftten Serviceeinsatzen profitiert und nur in Ausnahmefal- 

30 len der Einsatz eines Experten erforderlich wird. 
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Vorteilhafte Ausgestaltungen bestehen darin, da£ die Dokumen- 
tationsdaten statische und/oder dynamische Informationsdaten 
sind. Beispiele fur derartige statische Inf ormationen sind 
3 5 technische Daten aus Handbuchern, Explosions zeichnungen, War- 
tungsanweisungen etc.. Beispiele fur dynamische Inf ormationen 
sind Prozefewerte wie Temperatur, Druck, Signale etc. 
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Ein schneller si tuationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstiitzt, daS die Erfassungs- 
mittel eine Bildauf nahmevorrichtung aufweisen, da£ die Aus- 
5 wertemittel zur Auswertung der realen Information in der Wei- 
se vorgesehen sind, da£ aus der realen Information ein 
Eisatzkontext, insbesondere ein Objekt der Dokumentationsda- 
ten ermittelt wird und da£ das System Visualisierungsmittel 
zur Visualisierung der Dokumentationsdaten aufweist. 

10 

Ein schneller si tuationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstiitzt, da£ die Erfassungs- 
mittel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erf assungsmittel und/oder durch Steuerdaten gesteu- 
15 erte Erf assungsmittel ausgebildet sind. 

Ein fur viele Anwendungsf alle optimaler Einsatz von Augmen- 
ted-Reali ty-Techniken auf Basis der statischen und/oder dyna- 
mischen Dokumentations- und/oder Prozefidaten kann in der Wei- 
20 se erfolgen, daS die Erf assungsmittel und/oder die Visuali- 
sierungsmittel als Datenbrille ausgebildet sind. 

Im folgenden wird die Erfindung anhand der in den Figuren 
dargestell ten Ausf iihrungsbeispiele naher beschrieben und er- 
25 lautert. 

Es zeigen: 

FIG 1 ein Blockschaltbild eines ersten Ausfuhrungsbei- 

30 spiels eines Augmented-Reali ty-Sys terns , 

FIG 2 ein weiteres Blockschaltbild eines Ausf uhrungsbei- 

spiels eines Augmented-Reali ty-Systems und 



35 



FIG 3 



ein Anwendungsbeispiel fur einen si tuationsgerech- 
ten Zugrif f auf Expertenwissen und/oder Dokumenta- 
tionsdaten . 
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Figur 1 zeigt eine Prinzipdarstellung eines Augmented- 
Reality-Systems Augmented-Reality-System zur Ubertragung von 
Inf ormationsdaten von einem Anwender, insbesondere eines au- 
5 tomatisierungstechnisch gesteuerten Prozesses, einer Produk- 
tionsanlage und/oder einer Maschine, beispielsweise von einem 
Servicemann an ein Speichermedium des Augmented-Reali ty~ 
Systems. Das Augmented-Reality-System weist Erf assungsmittel 

11 zur Erfassung von Spracheingaben des Anwenders 7 auf . Der- 
10 artige Spracheingaben umfassen insbesondere Serviceprotokolle 

durch eine sprachbasierte Eingabe . Hierzu ist der Anwender, 
der in Figur 1 nicht explizit dargestellt ist, mit mobilen 
Geraten 4, 6 ausgestattet . Die mobilen Gerate 4, 6 beinhalten 
eine Datenbrille 4, an der eine Videokamera 2 sowie ein Mi- 

15 krofon 11 angeordnet ist. Die Datenbrille ist mit einer Ein- 
richtung zur drahtlosen Kommunikation, beispielsweise einer 
Funk-Sende-Empf angsvorrichtung 6 gekoppelt, die liber eine 
Funkschnitts telle 15 mit dem Automatisierungssystem Al..An 
kommunizieren kann . Das Automatisierungssystem Al..An ist 

20 liber eine Datenverbindung 14 mit einem Augmented-Reality- 
System 10 koppelbar, welches im folgenden auch abkurzend als 
AR-System bezeichnet wird. Das AR-System enthalt ein Informa- 
tionsmodul lb zur Speicherung bzw. zum Zugriff von bzw. auf 
Inf ormationsdaten, ein AR-Basismodul 8 sowie ein AR- 

25 Anwendungsmodul 9. Bei einer vorteilhaf ten Ausgestaltungsf orm 
ist das AR-System 10 liber eine Datenverbindung 13 mit dem ei- 
nem Datennetz beispielsweise mit dem Internet 5 verbindbar, 
wobei liber eine beispielhaft dargestellte Internetverbindung 

12 ein Zugriff auf Speicher- und Dokumentationsdaten la mog- 
30 lich ist. Ebenso ist am zweiten Ort 02 eine Speicherung der 

Sprach- und/oder sonstigen Daten des Anwenders moglich. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 
Sende-Einrichtung 7 ausgestattet ist, ist in der Lage, sich 
35 fur Wartungs- und Servicezwecke in der Anlage Al..An frei zu 
bewegen. Ist beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlagen Al..An er f orderlich, so 
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.wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenf alls 
gesteuert durch Sprachkommandos , die vom Mikrofon 11 erfafit 
werden, ein entsprechender Zugang zu den relevanten Dokumen- 
tationsdaten la, lb, beispielsweise fruheren bereits erfaEten 
5 Serviceberichten hergestellt. Hierzu wird uber die Funk- 

schnittstelle 15 .eine Datenverbindung zur Anlage Al..An oder 
einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 
an das AR-System 10 ubermi t telt . Im AR-System erfolgt eine 
situationsgerechte Auswertung der vom Anwender erhaltenen Da- 

10 ten und ein automatischer oder auch ein interaktiv vom Anwen- 
der gesteuerter Zugriff auf Inf ormationsdaten la, lb. Die er- 
mittelten relevanten Dokumentationsdaten la, lb, werden liber 
die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 
ubermittelt und insgesamt erfolgt auf Basis der erfagten Ar- 

15 beitssituation somit eine Analyse, die Grundlage fur die Aus- 
wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 
orientierte bzw. bauteilorientierte Auswahl relevanten Wis- 
sens aus den aktuellsten Datenquellen la, lb. Die Anzeige der 

20 Information erfolgt mit Hilfe der jeweils verwendeten Visua- 
lisierungskomponente, beispielsweise einem Handheld-PC oder 
einer Datenbrille. Von AR-basierten Technologien gesprochen 
wird. Der Anwender vor Ort wird somit lediglich mit der In- 
formation versorgt, die er braucht . Diese Information befin- 

25 det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
niker wird beispielsweise nicht durch ein "100 Sei ten-Manual " 
mit Informationen iiberf rachtet . 

Figur 2 zeigt ein weiteres Anwendungsbeispiel eines Systems 
3 0 zur Dokumentationsverarbeitung fur Service und Wartung. Das 

System besteht aus einem Augmented-Reality-System 10, welches 
ein Inf ormationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent- 
halt. Das AR-System 10 ist liber Bindungslei tungen 13, 18 ans 
35 Internet 5 ankoppelbar. Von dort besteht uber eine beispiel- 
hafte Datenverbindung 12 eine Verbindungsmoglichkeit zu einem 
entfernten PC 16 mit einem entfernten Experten 22. Die Kopp- 
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lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt 
liber Verbindungen 19 , 20, 21. Die Anwenderkommunikation zwi- 
schen einem Anwender 7 und dem AR-System erfolgt iiber 
Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen- 
5 de-Empf angs-Vorrichtung koppelbar, die eine bidirektionale 

Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
7 uber eine Datenbrille 4 entweder direkt uber die Schnitt- 
stelle 8 oder uber ein im Bereich des Anwenders 7 angeordnete 
Funk-Sende-Empf angseinrichtung 17 uber eine Schni ttstelle 2 3 

10 ermoglicht. Die Verbindung 23 kann iiber eine separate Daten- 
verbindung oder uber das Stromnetz als " Power-Line " -Modem 
realisiert werden . Die Datenbrille 4 enthalt neben einer im 
Bereich der Brillenglaser angeordneten Anzeigevorrichtung ei- 
ne Bilderf assungsvorrichtung 2 in Form einer Kamera sowie ein 

15 Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al..An bewegen und Service- 
oder Wartungsarbeiten durchfiihren. 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 

20 Sende-Empf angs vor r i chtungen , beispielsweise der Funk-Sende- 
Empf angsvorrichtung 17, die vom Personal direkt am Korper ge- 
tragen wird, ist es moglich vorbeugende Funktionalitat zu er- 
reichen: Zunachst erfolgt die Erfassung der jeweiligen Ar- 
beitssituation, beispielsweise durch die Kamera 2 oder durch 

25 Lokalisierung durch das Personal 7. Auf Basis der erfaSten 

Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten 
gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 
gur 3 dargestellten Systems besteht darin, da£ dieses System 
das Zusammenwirken der einzelnen Einzelf unktionalitaten an- 

30 wendungsgerecht unterstutzt: So wird zunachst eine konkrete 
Arbeitssituation automatisch erfafet, diese Arbeitssituation 
anschliefeend analysiert, wobei aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklich erfaSten dynamischen Daten automatisch die gerade 

3 5 relevanten Aspekte ermittelt werden. Hierdurch werden bei- 
spielsweise Montagehinweise mit aktuellen ProzeSdaten korre- 
liert. Das Personal 7 erhalt hierdurch eine si tuationsgerech- 
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te Anzeige der relevanten Inf ormationen beispielsweise durch 
eine uberlagerte Visualisierung der entsprechenden Daten in 
der Weise, daS im Sichtfeld des Personals die reale Arbeits- 
situation um die ermittelten Inf ormationen erweitert wird. 
5 Hierdurch wird das Personal 7 in kurzester Zeit handlungsfa- 
hig gemacht und damit notwendige Maschinenlauf zeiten gesi- 
chert . Unterstutzung kann der Wartungstechniker 7 vor Ort 
auch liber den entfernten Experten 2 2 und das am Ort des ent- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

10 

Figur 3 zeigt ein Anwendungsbei spiel fur einen si tuationsge- 
rechten Zugriff auf Dokumentationsdaten . Figur 3 zeigt einen 
ersten Bildschirmbereich Bl , in dem eine ' Anlagenkomponente 
dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 

15 wender 7 dargestellt, der beispielsweise eine einzelne Anla- 
genkomponente betrachtet . Der Anwender 7 ist mit einer Daten- 
brille 4 augerustet, die eine Kamera 2 als Erf assungsmittel 
enthalt. An der Datenbrille 4 ist daruber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet. Im linken Bild- 

20 schirmbereicht Bl ist ein Blick auf Rohrleitungen darge- 
stellt, die mit der im Bildfenster B2 dargestellten Daten- 
brille betrachtet werden konnen . Im linken Bildschirmbereich 
Bl sind zwei Punkte Bl, B2 markiert, die jeweils zwei mit 
Hilfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 

25 tieren. Nach Betrachtung des ersten Punkts PI, d.h. nach Be- 
trachtung der im Bereich des Punktes PI angeordneten Rohrlei- 
tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert . Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich des ersten Punktes Pi 

30 Arbeitsanweisungen fur dieses Rohrstiick enthalten und bezug- 
lich des Punktes P2 die in einem zweiten Schritt durchzufuh- 
rende Installat ionsanweisung beinhalten. Die Installationsan- 
weisung besteht in diesem Fall darin, date dem Anwender 7 das 
Drehmoment und die Drehrichtung der Schraubverbindung des 

35 Punktes P2 iiber die Visualisierung der Zusatzdaten 112 mitge- 
teilt werden. Der Anwender 7 erhcllt somit innerhalb kurzester 
Zeit eine si tuationsgerechte Anweisung fur das betrachtete 
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Objekt. Bei der Verwendung eines intelligenten Werkzeugs, 
welches in der Lage ist, das gerade eingesetzte Drehmoment zu 
erfassen, ist es weiterhin moglich, da£ der Anwender basie- 
rend auf dem aktuellen Drehmoment auch dazu aufgefordert 
5 wird, daS Drehmoment entsprechend zu erhohen oder zu verrin- 
gern. Derartige Zusatzinf ormationen konnen bei der Erstellung 
von Serviceprotokollen durch den Servicetechniker sprachge- 
steuert in das AR-System in einen Servicebericht eingebettet 
werden . Hierdurch kann bei einem erneuten Fehler eine fruher 
10 erfolgte Wartung bzw. ein fruher erfolgter Serviceeinsatz ex- 
akt nachvollzogen werden. Die Analyse der auf diese Weise er- 
fafiten Serviceprotokolle fuhrt zu einer besseren Erkennung 
von Qualitatsmangeln einer Anlage und/oder eines automatisie- 
rungstechnisch gesteuerten Prozesses . 

15 

Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei urn eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung von AR-basierten 
Systemen zur Unterstiitzung von Arbeitsprozessen in Entwick- 

2 0 lung, Produktion und Service komplexer technischer Produkte 

und Anlagen in der Fertigungs- und Ver f ahrenstechnik, sowie 
fur Systeme zur Serviceunterstiitzung wie bei Kraf t f ahrzeugen 
oder fur die Wartung beliebiger technischer Gerate . 

25 Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
Technik-Interaktion mit groSem Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen. Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert , so da£ Produkt- bzw. Pro- 

3 0 zeSinformationen intuitiv genutzt werden konnen. Neben der 

sehr einfachen Interaktion erschlieSt der Einsatz tragbarer 
Computer AR-Anwendungsf elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise Prozefe-, Me£- oder Simulationsda- 
ten an das reale Objekt gekniipft werden. 

35 



WO 00/52538 



PCT/DE00/00660 



.Die Situation der deutschen Industrie ist durch steigende 
Kundenanf orderungen an Individual i tat und Qualitat der Pro- 
dukte sowie durch eine wesentliche Zei tverkiirzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
5 Produktion und Service komplexer technischer Produkte und An- 
lagen konnen mit innovativen Losungen fur die Mensch-Technik- 
Interaktion sowohl Effizienz- und Produktivi tatssprunge er- 
zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wissens- und Informationsbe- 
10 darf der Benutzer auf der Basis ohnehin vorliegender Daten 
situationsgerecht unterstutzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in- 
novat iver Anwendungs f elder : 

o So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
15 auf der Grundlage einer gemischt-virtuellen Umgebung die 

fruhen Entwicklungsphasen deutlich beschleunigen. Gegemi- 
ber immersiven, d.h. eintauchenden, ^ Virtual Reality"- 
(VR) -Losungen besteht fur den Benutzer ein wesentlicher 
Vorteil darin, da£ die haptischen Eigenschaf ten mit Hilfe 
20 eines realen Modells naturgetreu abgebildet werden konnen, 

hingegen Aspekte der visuellen Wahrnehmung, z.B. fur An- 
zeigenvarianten, virtuell manipulierbar sind. Daruber hin- 
aus besteht ein gropes Potential zur benutzerorientierten 
Validierung rechnergestutzter Modelle, z.B. fur die Bau- 
25 teilverif ikation oder bei Crash-Tests . 

o In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen fur qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 

30 Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 

Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen uber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 

3 5 auch fur die Montage, wobei dem Monteur bereits in der 

Trainingsphase die einzelnen Arbei tsschri tte gemischt-vir- 
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tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
tionsergebnissen, umfassende Optimierungen erreicht wer- 
den, die sowohl die Qualitat der Arbeit splanung verbessern 
5 als auch den MontageprozeS in der kritischen Anlaufphase 

vereinfachen und beschleunigen . 

o Letztlich genugen im Service herkommliche Technologien 
kaum mehr, urn die komplexen Diagnose- und Behebungsproze- 
duren zu unterstutzen und zu dokumentieren. Da diese Pro- 

10 zesse in vielen Bereichen aber ohnehin auf Basis von digi- 

talen Daten geplant werden, bieten AR-Technologien die 
Moglichkeit, die Informationsquellen fur die Wartung zu 
(ibernehmen und einem Techniker, z.B. in der Datenbrille, 
durch die Uberlagerung mit realen Objekten den Ausbauvor- 

15 gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 

licht das AR-gestutzte „Fernauge" eine verteilte Problem- 
losung, indem ein entfernter Experte mit dem Mi tarbeiter 
vor Ort uber globale Distanzen hinweg kommuniziert . Dieser 
Fall ist besonders fur die uberwiegend mittelstandischen 

20 Wer kz eugmas chinenher s teller relevant. Sie sind durch die 

Globalisierung gezwungen, Produktionss tatten ihrer Kunden 
weltweit zu errichten. Jedoch ist eine Prasenz von Nieder- 
lassungen in alien wichtigen MSrkten weder aus wirtschaft- 
lichen Griinden realisierbar , noch kann auf das profunde 

25 Wissen erfahrener Service-Mitarbeiter des Stammhauses 

bzgl . der zunehmend komplexer werdenden Anlagen verzichtet 
werden . 

Die Besonderheit in der Mensch-Technik-Interaktion bei Aug- 
mented Reality liegt in einer sehr einfachen und intuitiven 

30 Kommunikation mit dem Computer, beispielsweise erganzt durch 
multimodale Interaktionstechniken wie Sprachverarbei tung oder 
Gestikerkennung . Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht daruber hinaus vollig neue mobile 
Nutzungsszenarien, wobei die spezifischen Daten jederzeit 

3 5 uber ein draht loses Netz angef order t werden konnen. Neue Vi- 
sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von Me£- oder Simulationsdaten, an das reale Objekt oder in 
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die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 
augmented environments) oder in verschiedenen Umgebungen AR- 
5 gestutzt zu kooperieren . 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
internationaler Ebene nur wenige Anwendungen, zumeist in Form 
von wissenschaf tlichen Prototypen bei Forschungseinrich- 
10 tungen. 

o USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 
gestaltung oder die Wartung von mechatronischen Gera- 
15 ten. Der Flugzeughersteller Boeing hat bereits erste 

Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen. Ergebnis ist, daS den USA auch in 
diesem Hightech-Bereich eine Schliisselstellung zu- 
kommt, die mit einer moglichen Technologief uhrer- 

2 0 schaft einhergeht. 

o Japan: In Japan werden verschiedene AR-Entwicklungen . 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „ Cyber- Shopping w . Keimzelle 
ist das 1997 gegriindete Mixed Reality Systems Labora- 
25 tory, das als Kompetenzzentrum gemeinsam von Wirt- 

schaft und Wissenschaf t getragen wird. Besondere Im- 
pulse im Konsumgliterbereich sind zukiinftig durch die 
japanische Industrie fur Unterhaltungselektronik zu 
erwarten . 

3 0 o Europa: In Europa sind bislang nur sehr wenige For- 

schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befa£t sich mit Ansatzen fur die ge- 
mischt-reale Visualisierung . Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Pro jektes 
3 5 CICC erste Anwendungen fur die Bauindustrie und einen 
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wissenschaf tlichen Prototypen zur Mitarbei terschulung 
im Automobilbau entwickelt. 

Die im Erfindung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder " Produktions- und Werkzeugma- 
5 schinen" (NC-gesteuerte, automatisierungstechnische Prozesse) 
sowie " Diagnose- / Serviceunterstiitzungssysteme f iir komplexe 
technische Komponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) . 

10 Zusammenf assend betrifft die Erfindung somit ein Augmented- 
Reality-System und- verfatiren zur Ubertragung von Informati- 
onsdaten von einem Anwender insbesondere eines automatisie- 
rungstechnisch gesteuerten Prozesses, einer Produkt ionsanlage 
und/oder einer Maschine, beispielsweise von einem Servicemann 

15 an ein Speichermedium des Augmented-Reali ty- Systems , wobei 
das Augmented-Reality-System Erf assungsmittel zur Erfassung 
von Spracheingaben des Anwenders, insbesondere von Service- 
protokollen, durch eine sprachbasierte Eingabe aufweisen. 
Hierdurch konnen Serviceprotokolle auf einfache Weise schnell 

2 0 erstellt, zentral gespeichert und archiviert werden, so daS 

auch im bei spateren ahnlichen Einsatzf alien die entsprechen- 
de Information zuverlassig zur Verfiigung steht. Das Verfahren 
ermoglicht eine sprachbasierte Erfassung von Einsat zberich- 
ten, bei dem Serviceprotokolle etc. anstelle in schrif tlicher 

2 5 Form als sprachbasierte Eingaben gespeichert und verwaltet 
werden . 
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Patentanspruche 

1. Augmented-Reality- System zur Ubertragung von Informations- 
daten von einem Anwender (7) insbesondere eines automatisie- 

5 rungstechnisch gesteuerten Prozesses, einer Produktionsanlage 
und/oder einer Maschine, beispielsweise von einem Servicemann 
an ein Speichermedium des Augmented-Reality-Systems , wobei 
das Augmented-Reality-System Er f assungsmi t tel (11) zur Erf as- 
sung von Spracheingaben des Anwenders (7), insbesondere von 
10 Serviceprotokollen, durch eine sprachbasierte Eingabe aufwei- 
sen. 

2. System nach Anspruch 1, 

dadurch gekennze i chne t, 
15 da£ die Informationsdaten statische Sprache und/oder dynami- 
sche Informationsdaten sind. 

3 . System nach einem der Anspruche 1 oder 2 , 
dadurch gekennzei chnet, 

2 0 da& das System Erf assungsmittel (2, 11) mit einer Sensorik, 

insbesondere einer Bildauf nahmevorrichtung zur Erfassung der 
ertsen Informationsdaten sowie Visualisierungsmittel (4) zur 
Visualisierung von im System gespeicherten Informationsdaten 
auf weist . 

25 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

da£ die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmi ttel und/oder 
30 durch Steuerdaten gesteuerte Erf assungsmi ttel ausgebildet 
sind . 

5. System nach einem der Anspriiche 1 bis 4, 
dadurch gekennzeichnet, 

3 5 da£ die Erf assungsmi ttel (2) und/oder die Visualisierungsmit- 

tel als Datenbrille (4) ausgebildet sind. 
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6. Verfahren zur Ubertragung von Informationsdaten mittels 
eines Augmented-Reality-Systems von einem Anwender (7) insbe- 
sondere eines automatisierungstechnisch gesteuerten Prozes- 
ses, einer Produktionsanlage und/oder einer Maschine, bei- 

5 spielsweise von ednem Servicemann an ein Speichermedium des 
Augmented-Reality-Systems , wobei das Augmented-Reality-Sys tern 
Erf assungsmittel (11) zur Erfassung von Spracheingaben des 
Anwenders (7) , insbesondere von Serviceprotokollen, durch 
eine sprachbasierte Eingabe aufweisen. 

10 

7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

da£ die Dokumentationsdaten {II.. In) statische und/oder dyna- 
mische Informationsdaten sind. 

15 

8. Verfahren nach einem der Anspruche 6 oder 7, 
dadurch gekennzeichnet, 

da£ die ersten Informationsdaten mittels Erf assungsmitteln 
(2, 11) mit einer Sensorik, insbesondere einer Bildauf nahme- 
20 vorrichtung erfa&t und daS die zweiten Informationsdaten mit- 
tels Visualisierungsmitteln (4) dem Anwender (7) visualisiert 
werden. 

9. Verfahren nach einem der Anspruche 6 bis 8, 
25 dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

30 

10. Verfahren nach einem der Anspruche 6 bis 9, 
dadurch gekennzeichnet, 

date die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 
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